#On-policy self-distillation

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

Where-OPD：合成场景下空间引导的 MLLM 在线自蒸馏

🧭 多模态自蒸馏 · 空间感知提升

Valeo.ai · Sorbonne Université, CNRS, ISIR · Institut universitaire de France (IUF) · ILLS, CNRS, Montreal

提出用文本空间引导作为特权信息，通过在线策略自蒸馏提升 MLLM 空间感知，合成训练可迁移真实基准

📌 工作参考价值（4 点）

电商/商品视觉问答：可用程序化生成商品布局图、货架图或广告素材，自动获得物体身份与坐标，构造带空间提示（如『在 (x,y) 附近发现绿色标签』）的 QA 数据做自蒸馏，提升模型对商品计数、空间关系（前后/遮挡/相邻）和属性识别，无需人工标注。
文档/图表理解：对详情页、数据报表、广告资质图生成合成文档并注入 layout 坐标信息，蒸馏出能定位关键区域并整合多区域证据的学生模型，可用于 RAG 中的视觉证据定位、广告合规审核和图表指标抽取。
推理成本不增加：教师仅在训练时使用空间 hint，学生推理时只依赖图像和问题，适合与 LoRA/Adapter 结合部署；且 on-policy self-distillation 无需外部大模型或人工标注，工程接入成本低。
合成到真实迁移结论：该工作验证了合成场景训练可提升真实感知基准（平均 +3.23 点），可作为低成本增强长尾视觉任务（如稀有商品、复杂陈列）的先验，但需注意合成场景的分布覆盖范围。

Multimodal | 2026-09-30 | HF Daily | score 6/10

SR-OPSD: Self-Referenced On-Policy Self-Distillation

自我参照在线策略自蒸馏：将 Rényi 散度引入 OPSD 稳定训练

🧭 On-policy self-distillation · Rényi divergence ★ 深度解读

Imperial College London · Peking University · University of Science and Technology of China · Shanghai University of Finance and Economics · Nanyang Technological University

通过参考锚定与 Rényi 投影解耦在线自蒸馏中的目标位置与投影几何，显著提升训练稳定性与多任务性能

📌 工作参考价值（4 点）

在 LLM 推理训练（如 GRPO/SDPO）中替代 KL 散度：当使用环境反馈或验证信号进行策略优化时，将目标构造为自我教师与参考策略的几何插值，并用 Rényi 散度（可调阶数 ρ）替换前向/反向 KL，能稳定策略熵、避免模式塌缩，尤其适用于需要输出多样性的推荐文案生成、搜索词改写等任务。
参控对反馈信息的依赖程度：超参数 α 控制目标中自我教师（基于反馈）与参考策略的比例，业务中可据此调节模型对用户点击/转化信号的信任度，避免在噪声反馈下过拟合。
冻结初始策略作为参考锚点：将预训练初始策略冻结作为参考，保证训练后模型不严重偏离原有能力，适合在线上推理链路中逐步部署，降低上线风险。
Rényi 投影的密度比温度控制：ρ 参数可看作对教师-学生概率比的幂次调制，能在训练初期压制极高或极低比值的梯度影响，相当于一种自适应梯度裁剪，有助于在不稳定反馈环境下稳定训练。

Training | 2026-08-10 | stat.ML | score 8/10

On-policy self-distillation Rényi divergence Self-referenced target LLM post-training credit assignment policy optimization